Machine learning in media 


Services 


Anatoly Starostin, Yandex Plus Funtech 
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Co-organizer 


Yandex 


Yandex Media Services 


y. 


Funtech 


Media content personalisation 


LSPU Daily (для "тяжелых пользователей" и только по волне) 


Trust the smart 
recommendations 
My vibe has for you | Tracks Albums Artists Playlists 
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Yet Another Music Recogniti 
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crowd verification 
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Music "shots" generation 


How to generate many different human like phrases describing the song? 


1) Parse wikipedia and websites like "50 facts about Madonna" 
and generate raw text info 

2) Filter out irrelevant or boring info (using Toloka) 

3) Give raw info to assessors and ask them to rewrite it on behalf 
of Alice voice assistant 

4) Ask assessors to check after each other 

5) Automatically generate audio from texts (using Text to Speech 
engine) 

6) Filter out phrases that doesn't sound good (using Toloka) and 
give them the second chance after adding some hints for TTS 


Alice show 


Stages 1 and 3 may be replaced by GPT-3 :) ad 


Music "shots" generation 


Бесполый полый робот перемыл все окна B Нью- 

Йорке, 

Залатал все дороги в Москве, отремонтировал все =>» Про робота, который очень любит стихи 
фонари. 

Он прочел все книги на всех языках от корки до корки 

Посмотрел все фильмы, послушал все mp3. 


Бесполый полый робот упорно слагает рифмы, Generated text Musicband — | 


Складывая B стопки текст и называя стихами. B 2004 году рэпер выдал DMX 
Он прилежно подходит к процессу, но производит 


одни алгоритмы. себя за агента ФБР и 
Никто не заложил в него модуль искусно владеть напал на Сергея 
словами. 


Припорина, за что потом 
3 месяца сидел в тюрьме 


Во время работы в студии Apocalyptica 
музыканты Apocalyptica 

используют очень дорогие 
инструменты, а на 

концертах играют на более 

9 дешёвых виолончелях. 


Actor recognition 


ResNet SE 


RetinaFace | 
Faster R-CNN Frame splitter ате За Plangrouping J 


Human figures detector — — —> Human figures tracker 


те) 
Face detector Face tracker 
Face to figure matcher Signature calculation 


crowd verification 


And many more 
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Music generation Sport video analysis 


And in the end the fun you take is equal to 
the tech you make 


Raw audio Media content Actors Sport video 
analysis personalisation recognition analytics 
Music "shots" Music Music VR / AR content 
generation generation recognition generation 


Thank you! 


Questions? 
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